Tạ Gia Di nguyên quán ở Đông Quan, Quảng Đông,[3] từ nhỏ lớn lên tại South Lanarkshire, Lanarkshire, Scotland.[4] Ông nội của cô có mở một quán ăn kinh doanh cháo gà, có tên là "Tạ Hoa Kí kiều đầu kê chúc" (謝華記橋頭雞粥) ở Đại Phố, Tân Giới.[5] Cô có cha là người Hoa và mẹ là người Scotland. Cha của cô sinh ra và lớn lên tại Hồng Kông, đã di cư sang Scotland vào năm 1992 và là bạn bè lâu năm với MC nổi tiếng người Ma Cao Maria Cordero.[6][7] Vào năm 2001, ông mở một nhà hàng Trung Quốc mang tên "The Oriental" (làm quản lý cho đến năm 2012[8]) cũng như một nhà hàng cá và khoai tây chiên mang tên "Peter's Fish & Chip Shop, Biggar" cùng gia đình. Hai nhà hàng hiện thuộc sở hữu của công ty" Tse's Family Restaurant Limited" dưới danh nghĩa của Tạ gia.[9] Vào năm 2014, cha của cô mở thêm hai công ty năng lượng tái tạo mang tên "Eco-Fast Limited" và "Coastal Protection Engineering Global Limited", đồng thời đảm nhiệm chức vụ giám đốc điều hành,[10][11][12] chủ yếu nghiên cứu về công nghệ lưu trữ năng lượng bơm nước biển (năng lượng tái tạo).

Cô theo học tại trường Biggar Primary School và Biggar High School. Năm 2019, cô tốt nghiệp Khoa Y tá, trường đại học Napier, Ediburgh. Sau khi tốt nghiệp, cô đến Zambia làm tình nguyện viên và trở thành y tá phòng mổ tại Bệnh viện St John, Livingston.[4][13] Tháng 6 năm 2019, cô về Hồng Kông thăm bà nội. Cha cô vốn đã luôn hy vọng rằng con gái có thể tham gia cuộc thi Hoa hậu Hồng Kông, nên nhân dịp về quê lần này, cô được bạn thân của bố là MC Maria Cordero đề cử báo danh tham gia cuộc thi năm 2020. Dù sở hữu chiều cao khiêm tốn, 160 xentimét (63 in), nhưng cô đã vượt qua các thí sinh khác để đoạt vương miện Hoa hậu Hong Kong cùng với danh hiệu "Hoa hậu ăn ảnh".[13][14][15][16][17] Trong một cuộc phỏng vấn, cô thừa nhận mình tình cờ tham dự cuộc thi và vô tình trở thành hoa hậu.[18] Em họ cô, Nguyên Phi Nhiên, cũng lọt vào Top 12 trong cuộc thi này.[19][20] Tháng 9 năm 2020, Tạ Gia Di được bổ nhiệm làm Chủ tịch danh dự của Chi hội đồng hương Đại Phố, Đông Hoản.[3] Cô cũng đã quyết định ở lại Hồng Kông trong vòng 5 năm để phát triển sự nghiệp.[21]